Newton 法

阐述

给定函数 $f:\mathbb R^n\to\mathbb R^m$ , 求解方程 $f(x)=0$ .

初始猜测 $x_0$ ，每一步迭代是

x_{k+1}=x_k-J(x_k)^{-1}f(x_k)

拟 Newton 法用 $J(x_0)^{-1}$ 来替代每一步都要重新计算的 $J(x_k)^{-1}$ . 这意味着如果采用 LU 分解法来求解线性方程，那么只有第一次需要分解，后面都可以以 $O(N^2)$ 的复杂度来求解方程。

指在每一步求解的过程中用 Krylov 子空间法来求解线性方程，并且矩阵向量乘法由前向自动微分来计算，这样在整个过程中都不需要显式构造 Jacobian。　　